收录于话题
#青亭网 - 苹果AR报道合辑
14个内容
本来想等等ARKit更新，但WWDC20的主Keynote没有机会看到，苹果却低调在官网进行了更新。毕竟当前ARKit 3.5已经强大到一个新的层级，去年发布AR开发三件套已足够领先。可预见的是，接下来ARKit在移动AR新特性引入会变缓，而更多探索应该留给开发者们去尝试。同时，ARKit接下来也会围绕AR/VR硬件展开，例如iPad Pro中新加入的LiDAR。在主Keynote中，ARKit相关信息也仅仅在iPad OS 14中小小露面，其中还包括一个“AR video textures”的功能。同时，今天也是历史性的一天，因为苹果还发布了适用于全系Mac电脑的基于ARM架构的自研芯片，并计划在2年内逐步取代Intel芯片。这无疑是今天的重头戏，为打通苹果软硬件生态提供无尽可能，同时也是PC史上一次重要的变革。实际上，在2020款iPad Pro发布时苹果就为其搭载的LiDAR推送了ARKit 3.5更新，该更新充分利用了LiDAR激光雷达的特性，加入场景几何(识别并区分场景内不同的物体)、即时AR体验、改进动作捕捉和人体遮挡等新功能。ARKit 4的主要特性也是围绕LiDAR来展开，如无意外，LiDAR模组在未来苹果AR体验（尤其是穿戴式设备上）中将占据主导地位。ARKit 4的主要更新如下：深度API、位置锚定、脸部追踪支持更多设备。深度API：该功能基于LiDAR数据，通过LiDAR对每个像素的深度信息进行分析，并与场景几何的3D网格数据结合使用，让虚拟物体与显示物体的融合更逼真、自然。同时，还可进一步提升AR测距应用的准确性。
该特性仅支持iPad Pro 2020款设备，后续具备LiDAR的设备（据悉iPhone 12最大号的那一款也会配备LiDAR）也会支持。
位置锚定：可将AR虚拟物体放在现实中特定位置，例如一个著名景区，通过位置锚定即可为AR虚拟物体加上经纬度、海拔等信息，从而与地理位置永久性的融合。
该功能跟ARKit 2中的持久性体验（基于保存与加载地图特性）不同，ARKit 2持久性体验基于视觉部分，非永久固定，没有结合地图的GPS数据。仅支持iPhone Xs、iPhone Xs Max、iPhone XR以及更新的iPhone 11系列机型，同时目前仅支持部分地区，因此对于苹果地图扩展能力也是一个考验。
脸部追踪扩展：将面部追踪功能扩展到更多设备上，让更多设备支持AR照片和视频的玩法。其中，新款iPhone SE仅支持单用户追踪，而具备原深感相机TureDepth的设备可同时识别追踪三个人脸信息，共同实现Memoji、Snapchat等基于前置镜头的AR玩法。
该功能仅支持使用A12 Bionic及更新芯片的设备，实际上就是为新款iPhone SE提供了前置AR能力，因为此前AR人脸追踪仅支持具备原深感相机的设备。
由此可见，ARKit 4在重大功能迭代方面的确表现并没有之前亮眼，因此我们对于后续功能和体验上的优化我们也更为期待。当然，WWDC 2020的主Keynote实在是信息点满满，在精心剪辑的前提下还保持近1个小时50分钟的高密度输出。其中新功能包括：苹果版的小程序App Clips、电话悬浮窗口、iPad OS的书写识别、Apple Watch睡眠追踪等等，整体亮点不多，大部分可看作健全生态体验。接下来讲一下本次发布会的一大重点，即：自研Mac专用芯片。实际上，前不久彭博的报道中也提到了有关苹果AR/VR项目，其中提到了一个苹果内部对于VR产品的分歧，其中一个就是一体式和分体式之争。Mike Rockwell主导分体式方案，产品设计采用轻量化头显＋计算模块，类似Magic Leap 1。其中计算模块配备了“极强”性能的芯片，而这部分开发工作得到苹果芯片等部门支持。而苹果前设计师Jony Ive则主导一体式设计，他认为分体式设计不符合使用习惯等，最终苹果的VR产品可能基于一体机形态，受限于散热性能可能会有局限。而原计划为分体式VR准备的超强性能的芯片技术也没有浪费，正好转移到适用于Mac的苹果芯片中。根据苹果高级副总裁Johny Srouji介绍：苹果花了10多年时间来打造和优化苹果系列芯片。这一切始于iPhone，因为iPhone需要特定性能而专门开发定制，而苹果的重点是性能和功耗比，并不断进行优化。目前，适用于iPhone的A系列芯片已经推出10代产品，而性能也提升100多倍。苹果芯片的下一个平台就是iPad，虽然适用于iPhone的芯片也适用于大部分iPad，但iPad的视网膜屏幕需要一个更强的定制芯片。因此，苹果开始重构A系列芯片架构，并着重优化性能。目前，从A5X开始已经有6代产品。而在最新的iPad Pro中GPU的性能已经是初代iPad的1000多倍。这也导致iPad Pro性能比不少笔记本电脑都强悍。也基于此，苹果势必会将此架构迁移到Mac电脑中来。另一个领域就是面向Apple Watch的低功耗S系列芯片，该系列着重优化功耗，满足低功耗下产品需求。而苹果自研芯片总交付量也超过20亿片，而这仅用了10年时间。因为考虑性能和功耗的制约，苹果决定为Mac芯片理想的研发方向是高性能、低功耗。这也是当下芯片设计的一大趋势，而苹果的优势在于已经在这方面进行了尝试并积累大量经验。苹果还表示：Mac芯片内置机器学习引擎，而且游戏表现更出色。Johny Srouji还表示，苹果已经着手开发一系列Mac芯片开发，并涉及全产品线（MacBook、iMac、Mac Pro），首款产品今年四季度发布，而未来Mac也将在2年内逐渐从Intel芯片过渡到苹果自家芯片。这样的优势是软硬件开发更统一，甚至可以直接在macOS运行iOS应用，未来Mac产品线的应用和iPhone、iPad的融合也会更进一步，为此苹果推出通用应用设计，可同时在iOS和macOS运行。甚至，ARM架构的Mac也会给PC历史发展带来新变革。一方面，ARM架构的优势逐渐扩大，应用到PC上有望绕过x86架构技术壁垒，给ARM芯片应用前景提供了无限可能；另一方面，对Intel、AMD也是一个重大打击和考验。
本次还为AirPods Pro带来空间音频技术，其可为每个耳朵接受频率进行微调，可以模拟从各个方向来的声音，从而提供沉浸式音频效果。不过，为了让这种效果更加真实还需要考虑现实中的因素和场景。这主要体现在，人的头部不会固定不动，即便聚精会神也会有轻微的移动，而实现声场固定的前提就是你的位置是固定的。因此，苹果苹果将AirPods Pro加速度计和陀螺仪数据融合来追踪头部动作，来实现重新映射声场。但是，你手中的iPad或iPhone也并非固定位置不动，因此苹果会实时追踪和对比两个设备的移动数据，了解两者相对运动方式，最终来实现声场效果跟随你的头部运动、以及观看设备移动而保持一致。这样，就算你在车内转弯场景也能享受到一致的声场效果。另外，AirPods Pro空间音频技术适用于5.1和7.1声道、甚至杜比全景声编码的内容，意味着后续这些现有的影视内容可通过AirPods Pro直接进行模拟，算法无敌。如果没有意外，这项技术应该会无缝迁移到AR/VR设备中去。